对抗性学习的研究主要集中在均匀的非结构化数据集上,这些数据集通常自然地映射到问题空间中。将功能空间攻击在异质数据集中倒入问题空间更具挑战性,尤其是找到要执行的扰动的任务。这项工作提出了一种正式的搜索策略:“特征重要的指导攻击”(FIGA),它在异质表格数据集的特征空间中发现扰动以产生逃避攻击。我们首先在特征空间中以及在问题空间中演示FIGA。 FIGA不对捍卫模型的学习算法没有任何先验知识,也不需要任何梯度信息。 FIGA假定对特征表示形式的知识和辩护模型数据集的平均特征值。通过在目标类方向上扰动输入的最重要特征,FIGA利用具有重要的排名。虽然FIGA在概念上与使用特征选择过程(例如模仿攻击)的其他作品相似,但我们将具有三个可调参数的攻击算法形式化,并在表格数据集上研究FIGA的强度。我们通过在四个不同的表网络钓鱼数据集中训练的网络钓鱼检测模型和一个平均成功率为94%的金融数据集来证明FIGA的有效性。我们通过限制可能在网络钓鱼域中有效且可行的扰动,将FIGA扩展到网络钓鱼问题空间。我们生成有效的对抗网站,这些网站在视觉上与其不受干扰的对应物相同,并使用它们来攻击六个表格的ML模型,达到13.05%的平均成功率。
translated by 谷歌翻译
Neural networks have achieved impressive results on many technological and scientific tasks. Yet, their empirical successes have outpaced our fundamental understanding of their structure and function. By identifying mechanisms driving the successes of neural networks, we can provide principled approaches for improving neural network performance and develop simple and effective alternatives. In this work, we isolate the key mechanism driving feature learning in fully connected neural networks by connecting neural feature learning to the average gradient outer product. We subsequently leverage this mechanism to design \textit{Recursive Feature Machines} (RFMs), which are kernel machines that learn features. We show that RFMs (1) accurately capture features learned by deep fully connected neural networks, (2) close the gap between kernel machines and fully connected networks, and (3) surpass a broad spectrum of models including neural networks on tabular data. Furthermore, we demonstrate that RFMs shed light on recently observed deep learning phenomena such as grokking, lottery tickets, simplicity biases, and spurious features. We provide a Python implementation to make our method broadly accessible [\href{https://github.com/aradha/recursive_feature_machines}{GitHub}].
translated by 谷歌翻译
在本文中,我们使用单个摄像头和惯性测量单元(IMU)以及相应的感知共识问题(即,所有观察者的独特性和相同的ID)来解决基于视觉的检测和跟踪多个航空车的问题。我们设计了几种基于视觉的分散贝叶斯多跟踪滤波策略,以解决视觉探测器算法获得的传入的未分类测量与跟踪剂之间的关联。我们根据团队中代理的数量在不同的操作条件以及可扩展性中比较它们的准确性。该分析提供了有关给定任务最合适的设计选择的有用见解。我们进一步表明,提出的感知和推理管道包括深度神经网络(DNN),因为视觉目标检测器是轻量级的,并且能够同时运行控制和计划,并在船上进行大小,重量和功率(交换)约束机器人。实验结果表明,在各种具有挑战性的情况(例如重闭)中,有效跟踪了多个无人机。
translated by 谷歌翻译
多项研究表明,从孕妇中期超声检查(USG)检查获得标准化的胎儿脑生物特征?获得这些测量值是高度主观的,专业驱动的,需要多年的培训经验,从而限制了所有怀孕母亲的优质产前护理。在这项研究中,我们提出了一种深度学习方法(DL)方法,以通过准确和自动化的卡钳放置(每次生物测量法)将其作为地标建模,从而从跨炉平面(TC)的2D USG图像(TC)计算3个关键的胎儿脑生物特征。检测问题。我们利用了临床相关的生物识别约束(卡尺点之间的关系)和与域相关的数据增强,以提高U-NET DL模型的准确性(经过训练/测试:596张图像,473个受试者/143张图像,143个受试者)。我们进行了多个实验,证明了DL主链,数据增强,推广性和基准测试,通过广泛的临床验证(DL与7位经验丰富的临床医生)对最新的最新方法进行了测试。在所有情况下,单个卡尺点和计算生物特征的放置的平均误差都与临床医生之间的错误率相当。所提出的框架的临床翻译可以帮助新手用户在可靠和标准化的胎儿大脑超声图评估中的新手使用者。
translated by 谷歌翻译
为优化方法建立快速的收敛速率对其在实践中的适用性至关重要。随着过去十年深入学习的普及,随机梯度下降及其自适应变体(例如,Adagagrad,Adam等)已成为机器学习从业者的突出方法。虽然大量作品已经证明,这些第一订单优化方法可以实现亚线性或线性收敛,但我们建立了随机梯度下降的局部二次收敛,具有自适应步长,矩阵反转等问题。
translated by 谷歌翻译